主題語言模型於大詞彙連續語音辨識之研究 (On the Use of Topic Models for Large-Vocabulary Continuous Speech Recognition) [In Chinese]
نویسندگان
چکیده
本論文研究使用主題資訊之語言模型(Language Model)。當語言模型用於大詞彙連續語 音辨識時,其主要的任務是藉由已解碼歷史詞序列資訊來預測下一個候選詞出現的可能 性。傳統的 N 連(N-gram)語言模型容易受限於模型參數過多的問題,僅能用來擷取短距 離的詞彙接連資訊,並不能考慮完整的歷史詞序列之語意資訊。因此,近十幾年來許多 研究學者陸續提出各式主題模型(Topic Model),包括討論文件與詞之關係的機率式潛藏 語意分析(Probabilistic Latent Semantic Analysis, PLSA)和潛藏狄利克里分配(Latent Dirichlet Allocation, LDA),以及討論詞虛擬文件與詞關係的詞主題模型(Word Topic Model, WTM)。這些模型主要都是透過一組潛藏的主題機率分布來描述文件與詞、或者 詞虛擬文件與詞之間的關係,用以擷取出歷史詞序列長距離的潛藏語意資訊。本論文提 出一種新的主題模型,稱之為詞相鄰模型(Word Vicinity Model, WVM),它直接地基於 語言中詞與詞相互關聯資訊以建構一個機率式的潛藏主題空間,並且透過線性模型結合 的方式建立歷史詞序列之主題模型來預測下一個候選詞出現的可能性,藉此輔助傳統 N 連語言模型。實驗結果顯示本論文所提出的詞相鄰模型不僅相較大部分主題模型具有較 低的模型參數量,同時能對於僅使用三連語言模型的基礎大詞彙連續語音辨識系統也有 相當程度的語音辨識率提升。
منابع مشابه
運用概念模型化技術於中文大詞彙連續語音辨識之語言模型調適 (Leveraging Concept Modeling Techniques for Language Model Adaptation in Mandarin Large Vocabulary Continuous Speech Recognition) [In Chinese]
在實作上,概念模型會使用(搜尋)與初步語音辨識結果相關的同領域文件(或 調適語料)內表述的若干概念,用以近似語者內心欲傳達的真正含意,並基於此 來建立概念語言模型。而概念語言模型的建立是分兩個面向來探討,它們分別是 「詞彙」面向與「文件群聚」面向。首先,在實作上,概念模型會使用(搜尋)與 初步語音辨識結果近似同領域文件(或調適語料)內表述的若干概念,用以近似語 者內心欲傳達的真正含意,並基於此來建立概念語言模型。而概念語言模型的建 立是分兩個面向來探討,它們分別是「詞彙」面向與「文件群聚」面向。首先, 我們發展所謂的詞概念語言模型(Word-based Concept Language Model),並應用 於語言模型調適。在建構詞概念語言模型時,我們期望能夠針對每一語句不同的 語意內容(第一階段語音辨識結果,以詞圖[3]表示),在調適語料的若干相關的文 件中挑選一組具有代表性的概念...
متن کامل使用詞向量表示與概念資訊於中文大詞彙連續語音辨識之語言模型調適(Exploring Word Embedding and Concept Information for Language Model Adaptation in Mandarin Large Vocabulary Continuous Speech Recognition) [In Chinese]
Research on deep learning has experienced a surge of interest in recent years. Alongside the rapid development of deep learning related technologies, various The 2015 Conference on Computational Linguistics and Speech Processing ROCLING 2015, pp. 4-17 The Association for Computational Linguistics and Chinese Language Processing
متن کامل相似度比率式鑑別分析應用於大詞彙連續語音辨識 (Likelihood Ratio Based Discriminant Analysis for Large Vocabulary Continuous Speech Recognition) [In Chinese]
在近十年來所發展出的自動語音辨識(automatic speech recognition, ASR)技術中,仍 有許多研究者嘗試僅藉由前端處理來產生具有鑑別性的語音特徵,而獨立於後端模型訓 練與分類器特性。本論文即在此思維下提出嶄新的鑑別式特徵轉換方法,稱為普遍化相 似度比率鑑別分析(generalized likelihood ratio discriminant analysis, GLRDA),其旨在利 用相似度比率檢驗(likelihood ratio test)的概念尋求一個維度較低的特徵空間。在此子空 間中,我們不僅考慮了全體資料的異方差性(heteroscedasticity),即所有類別之共變異矩 陣可被彈性地視為相異,並且在分類上,因著我們也將類別間最混淆之情況(由虛無假 設(null hypothesis)所描述)的發生率降至最低,而達到有助於分類正確率提升的效...
متن کامل整合邊際資訊於鑑別式聲學模型訓練方法之比較研究 (A Comparative Study on Margin-Based Discriminative Training of Acoustic Models) [In Chinese]
鑑別式聲學模型訓練在近代自動語音辨識(Automatic Speech Recognition, ASR)中扮演 重要的角色。在許多基於不同思維且能有效地提昇辨識率的鑑別式聲學模型訓練方法陸 續被提出後,對於訓練方法的相關推廣與改進便如雨後春筍般地興起;而這些方法在本 質上,皆是在描述訓練語句與語音辨識器所產生對應詞圖(Word Graph)之間的關係。本 論文首先將統整與歸納近年來所發展的多種鑑別式聲學模型訓練方法,並以三種最具代 表性鑑別式訓練方法:最小化分類錯誤(Minimum Classification Error, MCE)、最大化交 互資訊(Maximum Mutual Information, MMI)、最小化音素錯誤(Minimum Phone Error, MPE)為範例,透過有系統地轉換與化解方程式,得到聲學模型訓練準則的共通表示函 數型態。我們可以發現到,對於...
متن کامل